Bayesian inference is facilitated by modular neural networks with different time scales | Plos computational biology (2024)

hl.icon

過去の観測に関する情報を保持するということは、長い時間スケールを持つ細胞が関与している可能性がある

実際、脳の中の活動は領域/細胞によってタイムスケールが異なっている

RNNのモデル

$ x(t+1) = (1 - \alpha)x(t) + \alpha \text{ReLU}(W_{in}u(t) + Wx(t)) + \sqrt{\alpha_{m}}\xi_{m}

活性化関数：ReLU

全体のユニット数：200個

早いタイムスケールのユニット数：150個

$ x_{m}(t + 1) = (1 - \alpha_{m})x_{m}(t) + \alpha_{m}\text{ReLU}(W_{in}u(t) + W_{main}x_{m}(t) + W_{s \rightarrow m}x_{s}(t)) + \sqrt{\alpha_{m}}\xi_{m}

遅いタイムスケールのユニット数：50個

$ x_{s}(t + 1) = (1 - \alpha_{s})x_{s}(t) + \alpha_{s}\text{ReLU}(W_{sub}x_{s}(t) + W_{m \rightarrow s}x_m(t)) + \sqrt{\alpha_{s}}\xi_{s}

またタイムスケールを可変なネットワークにおいても同様の結果が得られた

ここでいう固定とは？